อีก 4 เดือนต่อมา แสนศักดิ์จึงได้โอกาสแก้มือที่ประเทศสเปนอีกครั้ง คราวนี้ แสนศักดิ์เป็นฝ่ายชนะน็อกไปเพียงแค่ยกที่ 2 ได้กลับมาเป็นแชมป์โลกในสมัยที่ 2 จากนั้น แสนศักดิ์ได้ป้องกันตำแหน่งไว้ได้หลายต่อหลายครั้ง และบางครั้งเป็นไฟต์แห่งความทรงจำที่ยังคงตรึงใจแฟนมวยอยู่จนทุกวันนี้ เช่น ชนะน็อก มอนโร บรู๊คส์ นักมวยชาวอเมริกันไปอย่างสุดมัน ในยกที่ 15 ที่จังหวัดเชียงใหม่ ชนะคะแนน ซาอูล แมมบี้ นักมวยชาวอเมริกันอีกคนที่จังหวัดนครราชสีมา เป็นต้น

แต่การที่ชนะแมมบี้ได้นั้น แสนศักดิ์ก็บอบช้ำเป็นอย่างมากจากน้ำหนักหมัดของแมมบี้ โดยสื่อมวลชนบางรายเชื่อว่า การชกครั้งนี้ได้มีการกำหนดผลไว้ล่วงหน้าแล้วจากเทียมบุญ อินทรบุตร โปรโมเตอร์ผู้จัดการแข่งขัน กับ โลเป ซาเรียล โปรโมเตอร์ร่วมชาวฟิลิปปินส์ และเชื่อว่าสภาพดวงตาของแสนศักดิ์ที่มีปัญหาก็เกิดมาจากการชกไฟต์นี้เอง[4]

แสนศักดิ์ เสียแชมป์โลกในการป้องกันตำแหน่งครั้งที่ 8 ของสมัยที่ 2 กับ คิม ซาง ฮุน นักมวยชาวเกาหลีใต้ เมื่อปลายปี พ.ศ. 2521 ถึงโซล ประเทศเกาหลีใต้ ถิ่นของผู้ท้าชิงเอง โดยแพ้น็อกไปในยกที่ 13 เนื่องจากสภาพร่างกายของแสนศักดิ์ไม่แข็งแกร่งเหมือนเก่า และสายตาก็เริ่มมีปัญหา จากนั้นแสนศักดิ์ได้ไปชกนอกรอบที่ประเทศฟิลิปปินส์ก็แพ้นักมวยเจ้าถิ่นอีก และอีก 3 เดือนต่อมา ก็บินไปชกที่สหรัฐอเมริกากับ โธมัส เฮิร์นส์ ซึ่งเป็นดาวรุ่งในขณะนั้น ซึ่งแสนศักดิ์ไม่อาจสู้อะไรเฮิร์นส์ได้เลย เป็นฝ่ายแพ้น็อกไปในยกที่ 3 แสนศักดิ์ชกมวยครั้งสุดท้ายในปี พ.ศ. 2524 ที่จังหวัดร้อยเอ็ด โดยเป็นโปรโมเตอร์จัดการแข่งขันเอง โดยเป็นการชิงแชมป์ภาคตะวันออกไกลและแปซิฟิก (OPBF) กับนักมวยชาวเกาหลีใต้ แต่ก็แพ้คะแนนขาดลอยอีก จึงต้องแขวนนวมไปในที่สุด